iPAS AI應用規劃師 初級

L12301 生成式AI導入評估
出題方向
1
問題定義與目標對齊
2
技術與模型適用性評估
3
資料需求與品質評估
4
成本效益與ROI分析
5
風險評估(倫理/安全/合規)
6
資源與能力評估
7
導入策略與可行性
8
成功標準與衡量指標
#1
★★★★★
在評估是否導入生成式 AI 解決方案時,最重要的第一步是什麼?
A
評估市面上所有可用的 AI 模型。
B
清晰地定義想要解決的業務問題達成的具體目標
C
計算導入所需的總預算。
D
對相關人員進行 AI 技術培訓。
答案解析
根據「公部門人工智慧應用參考手冊」2.2 場景問題定義 和 「製造業 AI 導入指引」第二節、步驟一,任何 AI 導入專案的起點都應是明確的業務需求或目標。必須先識別出具體要解決的痛點,或想要達成的可衡量目標,才能判斷生成式 AI 是否為合適的解決方案,並據此評估技術可行性、資源需求和預期效益。若缺乏清晰的問題定義與目標,貿然導入技術容易導致資源浪費且無法產生實際價值,甚至落入「為導入 AI 而導入 AI」的陷阱。
#2
★★★★★
評估生成式 AI 導入專案的成本效益時,除了考量投資成本(開發、硬體、授權費等),還需要評估什麼?
A
模型的訓練準確率。
B
導入後可能帶來的具體效益,如效率提升、成本降低、品質改善或新價值創造
C
競爭對手是否也使用類似技術。
D
所需程式碼的總行數。
答案解析
成本效益分析的核心是比較投入的成本預期獲得的效益。在評估生成式 AI 導入時,不能只看投入多少錢,更要仔細評估導入後能帶來哪些實際的、可衡量的價值。這些效益可能包括:提高工作效率(如自動生成報告)、降低營運成本(如減少人力需求)、改善產出品質(如提升設計方案)、或創造新的服務或產品。只有全面評估潛在效益,才能判斷投資是否值得,並計算投資回報率ROI)。
#3
★★★★★
在導入生成式 AI 前,評估資料狀態時,最重要的考量因素是?
A
資料儲存的硬碟品牌。
B
資料的可取得性、相關性、品質(完整性、準確性、一致性)與數量
C
資料庫管理系統的版本號。
D
資料視覺化圖表的美觀程度。
答案解析
生成式 AI 的效能高度依賴於用於訓練和應用的資料。因此,導入前必須仔細評估資料狀態。關鍵考量包括: 1. 可取得性:是否能夠合法且有效地獲取所需的資料? 2. 相關性:資料是否與要解決的問題或生成的目標直接相關? 3. 品質:資料是否完整(無過多缺失值)、準確(無明顯錯誤)、一致(格式和定義統一)? 4. 數量:是否有足夠的資料量來支持模型的訓練或應用? 這些因素直接決定了 AI 模型的效果和可靠性。「公部門人工智慧應用參考手冊」2.3 資料狀態評估有詳細說明。
#4
★★★★
評估導入生成式 AI風險時,需要特別關注訓練資料可能帶來的哪種倫理風險
A
硬體過熱風險。
B
模型運算速度不夠快的風險。
C
資料中潛藏的偏見Bias)導致模型產生歧視性輸出的風險。
D
軟體授權過期的風險。
答案解析
生成式 AI 模型是從大量資料中學習模式的,如果這些訓練資料本身就反映了社會上存在的偏見(例如,對特定性別、種族、地區的刻板印象或不公平對待),模型很可能會學習並放大這些偏見,從而在其生成的內容或決策中表現出歧視性。這是生成式 AI 最受關注的倫理風險之一,在導入評估時必須重點考量,並思考如何檢測和緩解。參考「公部門人工智慧應用參考手冊」4.2 倫理議題。
#5
★★★★
在評估生成式 AI 技術的適用性時,如果應用場景需要極高事實準確性可驗證性(例如,法律文件審閱),需要注意生成式 AI 的哪個潛在問題?
A
生成速度太慢。
B
可能產生幻覺Hallucination),即編造不實資訊。
C
無法處理多種語言。
D
生成的內容缺乏創意。
答案解析
生成式 AI(尤其是大型語言模型)雖然能力強大,但存在產生幻覺的風險,也就是會自信地編造出看似合理但完全錯誤或無從查證的資訊。對於需要高度事實準確性的應用場景(如法律、醫療、金融),這種幻覺風險是致命的。因此,在評估導入時,必須充分認識到這個限制,並規劃相應的驗證機制(如結合 RAG、人工審核)或考慮該場景是否真的適合使用當前的生成式 AI 技術。參考「公部門人工智慧應用參考手冊」4.1 風險管理。
#6
★★★★
評估組織自身導入生成式 AI能力時,除了技術人才,還需要評估哪個面向?
A
辦公室的地理位置。
B
組織是否具備相應的資料治理能力、變革管理經驗以及風險管理文化
C
公司歷史的長短。
D
員工的平均年齡。
答案解析
成功導入生成式 AI 不僅僅是技術問題,還涉及到組織的整體能力與成熟度。除了評估是否有足夠的 AI 技術人才外,還需評估: * 資料治理能力:是否有能力管理、保護和利用好 AI 所需的大量資料? * 變革管理經驗:是否有能力引導員工適應 AI 帶來的流程和工作方式的轉變? * 風險管理文化:組織是否重視風險評估,並有相應的機制來應對 AI 可能帶來的倫理、安全、合規等風險? 這些組織層面的能力對 AI 導入的成敗同樣關鍵。
#7
★★★★
生成式 AI 導入評估中,進行概念驗證PoC)或試點計畫Pilot Project)的主要目的是?
A
為了完成最終的產品交付。
B
投入大量資源前,先在小範圍內測試技術的可行性、潛在效益和挑戰
C
取代所有現有的業務流程。
D
評估供應商的售後服務。
答案解析
生成式 AI 技術及其應用往往存在不確定性。進行PoC試點計畫是一種降低風險的導入策略。它允許組織用較少的資源和時間,在一個受控的、小範圍的環境中,實際測試生成式 AI 在特定場景下的技術可行性(能否做到)、初步評估其潛在效益(效果如何),並識別出實際執行中可能遇到的挑戰(如數據問題、整合困難、使用者接受度)。根據 PoC 或試點的結果,再決定是否擴大投入和全面推廣。
#8
★★★★
在評估生成式 AI 導入的成功與否時,除了技術指標(如模型準確率),還應該關注哪些業務層面的衡量標準?
A
使用的程式語言版本。
B
業務流程效率、成本、產出品質、使用者滿意度等方面的實際改善情況。
C
模型訓練所花費的時間。
D
伺服器的品牌。
答案解析
AI 導入的最終目的是為業務帶來價值。因此,評估其成功與否,不能只看模型本身的技術指標(雖然也很重要),更要關注它對實際業務運作產生的影響。成功的標準應該與最初設定的業務目標相呼應,例如:相關業務流程的處理時間是否縮短?營運成本是否降低?產出內容的品質是否提升?相關使用者的滿意度是否提高?這些業務層面的指標才能真正反映 AI 導入的價值。
#9
★★★★★
生成式 AI 導入評估中,需要考慮的合規性風險主要指什麼?
A
模型是否使用了最新的演算法。
B
AI 的開發和使用是否符合現行的法律法規,例如資料保護法、版權法、反歧視法等。
C
模型是否能被所有瀏覽器兼容。
D
模型是否由知名公司開發。
答案解析
合規性風險是指組織的行為或產品未能遵守相關的法律、法規、標準或政策而可能導致的處罰、損失或聲譽損害。在生成式 AI 導入評估中,需要檢視 AI 系統在資料的收集、處理、使用,以及其輸出內容和決策過程中,是否符合例如《個人資料保護法》、《著作權法》、《公平交易法》以及特定行業的監管要求等。確保合規性是降低法律風險的必要步驟。參考「公部門人工智慧應用參考手冊」1.6 AI 應用涉及法規指引。
#10
★★★★
評估用於訓練生成式 AI 的資料品質時,完整性Completeness)指的是什麼?
A
資料是否來自可靠的來源。
B
資料集是否缺少重要的欄位或存在大量的缺失值
C
資料是否反映了最新的情況。
D
資料的格式是否一致。
答案解析
資料完整性是衡量資料品質的一個重要維度,它關注的是資料記錄中是否存在缺失。如果一個資料集缺少了模型訓練或應用所需的關鍵欄位,或者許多記錄在重要欄位上都有缺失值,那麼這個資料集的完整性就較差,可能會影響模型的訓練效果和預測的準確性。參考「公部門人工智慧應用參考手冊」2.3 資料狀態評估。
#11
★★★
在評估技術適用性時,若目標是自動生成符合特定風格的行銷文案,生成式 AI 相較於傳統模板填充方式的主要優勢是?
A
執行速度更快。
B
成本一定更低。
C
能產生更多樣化、更具創意且風格更自然的內容。
D
完全不需要人工審核。
答案解析
傳統模板填充方式產生的內容通常比較固定和死板生成式 AI 透過學習大量文本數據,能夠理解語言模式和風格,從而生成更自然、更多樣化、甚至帶有一定創意的文案,並且能夠根據要求調整語氣和風格。這是其相較於傳統模板方法的主要優勢。雖然速度可能快,成本不一定低,且仍需人工審核。
#12
★★★
評估組織內部是否有足夠運算資源來支援生成式 AI 模型(尤其是大型模型)的訓練或推論時,關鍵考量的硬體是?
A
傳統的中央處理器(CPU, Central Processing Unit
B
圖形處理器GPU, Graphics Processing Unit)或專用 AI 加速器(如 TPU
C
固態硬碟(SSD, Solid State Drive
D
網路交換器(Network Switch)
答案解析
生成式 AI 模型,特別是大型模型,通常包含數十億甚至數兆個參數,其訓練和推論過程涉及大量的矩陣運算和並行計算GPU 和專用的 AI 加速器(如 Google 的 TPU Tensor Processing Unit)由於其大規模並行處理的架構,非常適合這類計算密集型任務,能夠顯著縮短訓練時間和提高推論效率。傳統 CPU 雖然也能執行,但效率遠遠不及 GPU。因此,評估運算資源時,GPU 的數量和性能是關鍵考量。
#13
★★★
在評估生成式 AI 導入可行性時,若發現現有資料品質不高,可能的應對策略不包含
A
投入資源進行資料清洗和標註。
B
尋找或採購更高品質的外部資料。
C
調整專案範疇,選擇對資料品質要求較低的應用。
D
直接使用品質不高的資料進行模型訓練,期望模型能自行克服。
答案解析
資料品質是影響生成式 AI 效果的關鍵因素(Garbage In, Garbage Out)。如果評估發現現有資料品質不足,直接使用這些資料訓練模型很可能導致模型性能差、產生偏見或不可靠的結果。因此,直接使用品質不高的資料並期望模型自行克服,通常是不可行的策略。正確的應對策略應是投入資源改善資料品質(A)、尋找替代資料源(B),或者重新評估專案範疇,選擇對資料要求較低的應用(C)。
#14
★★★
導入生成式 AI 協助處理客服郵件,下列何者是比較清晰的專案目標?
A
讓客服部門更智慧化。
B
在 6 個月內,將客服人員首次回覆客戶郵件的平均時間縮短 30%
C
研究生成式 AI 在客服領域的應用。
D
購買一套生成式 AI 客服系統。
答案解析
選項 B 符合 SMART 原則: * Specific (具體的): 明確指出要縮短的是「首次回覆客戶郵件的平均時間」。 * Measurable (可衡量的): 縮短「30%」是一個可量化的指標。 * Achievable (可達成的): 假設基於初步評估是可行的。 * Relevant (相關的): 與提升客服效率直接相關。 * Time-bound (有時限的): 設定了「6 個月內」的期限。 相比之下,選項 A 過於模糊;選項 C 偏向研究而非具體目標;選項 D 只是手段而非目標。
#15
★★★★
計算生成式 AI 導入的投資回報率ROI)時,效益部分很難量化的是下列何者?
A
減少的人力成本。
B
縮短的平均處理時間。
C
提升的企業形象或員工士氣
D
增加的產品銷售量。
答案解析
人力成本、處理時間、銷售量通常可以找到具體的數字來衡量導入 AI 前後的變化,屬於較易量化的效益。然而,像企業形象的提升(例如因採用先進技術而獲得的聲譽)、或員工士氣的改善(例如因 AI 輔助減少了枯燥工作)這類效益,雖然真實存在且可能很重要,但通常難以直接用金錢或精確數字來衡量,屬於質化效益或難以量化的間接效益。在進行 ROI 評估時,需要認識到這一點,並可能需要採用其他方式(如滿意度調查)來評估這些質化效益。
#16
★★★
評估生成式 AI 所需資料時,若發現資料散佈在多個不同的系統且格式不一,這主要反映了資料的哪個面向有挑戰?
A
資料數量(Volume)
B
資料整合Integration)與一致性Consistency
C
資料即時性(Velocity)
D
資料儲存成本
答案解析
當所需資料分散在不同來源(如不同部門的資料庫、不同格式的文件)時,首要挑戰是如何將這些資料有效地整合起來。此外,不同來源的資料可能存在格式、定義、單位不一致的問題,這涉及到資料的一致性。在導入評估時,需要預估資料整合與清洗所需的工作量和技術難度。
#17
★★★★
評估導入生成式 AI 時,針對資料隱私風險,最基本的合規要求是?
A
確保 AI 模型是開源的。
B
遵守《個人資料保護法》等相關法規,確保資料的收集、處理、利用獲得合法授權
C
將所有資料儲存在雲端。
D
只使用數字型態的資料。
答案解析
台灣的《個人資料保護法》對於個人資料的收集、處理和利用有明確的規範。在導入生成式 AI 並可能涉及處理個人資料時,最基本的要求就是必須遵守這些法規。這包括取得當事人的同意(除非有其他法律依據)、告知相關事項、確保資料安全、限制利用範圍等。在導入評估階段,就必須將個資法遵循納入考量,評估是否能合法取得並使用所需資料。
#18
★★★
評估選擇哪種生成式 AI 模型或服務時,需要考慮模型的「可解釋性」(Explainability),這主要是因為?
A
可解釋性越低,模型通常越便宜。
B
有助於理解模型做出決策的原因,便於除錯、信任建立和責任追溯
C
可解釋的模型通常訓練更快。
D
只有可解釋的模型才能生成文字。
答案解析
許多生成式 AI 模型(特別是深度學習模型)被視為「黑盒子」(Black Box),其內部決策過程難以完全理解。模型的可解釋性指的是我們能夠理解模型為何會產生特定輸出或做出特定決策的程度。較高的可解釋性有助於: * 除錯:更容易找出模型出錯的原因。 * 信任:使用者和監管機構更願意信任能被理解的模型。 * 責任:當模型做出錯誤或有害決策時,更容易追溯原因。 * 公平性檢測:更容易檢查模型是否存在偏見。 因此,在評估選擇模型時,可解釋性是一個重要的考量因素,尤其是在高風險或需要法規遵循的應用中。
#19
★★★
在評估導入策略時,相較於全面一次性導入,採用分階段導入Phased Rollout生成式 AI 的主要優點是?
A
總成本一定最低。
B
導入速度最快。
C
可以逐步驗證成效、收集回饋、降低初期風險,並分階段進行調整
D
不需要任何使用者培訓。
答案解析
分階段導入是一種降低變革風險的策略。它將整個導入過程分解成幾個階段,例如先在某個部門或針對某個特定功能進行試點,成功後再逐步擴展到其他部門或功能。這樣做的好處包括: * 逐步驗證:可以在小範圍內先驗證技術可行性和初步效益。 * 收集回饋:及早獲得使用者回饋,用於後續階段的改進。 * 降低風險:初期投入較少,若遇到問題,影響範圍也較小。 * 分階段調整:可以根據前一階段的經驗教訓,調整後續階段的計畫。 雖然總體時間可能比一次性導入長,但風險更可控。
#20
★★★
在評估生成式 AI 導入專案的成功標準時,設定基線Baseline)的目的是什麼?
A
用於計算模型的參數數量。
B
提供一個導入前的基準點,以便比較導入後的績效變化
C
決定使用哪種雲端服務。
D
作為專案延期的理由。
答案解析
設定基線是指在實施任何改變(例如導入 AI)之前,測量和記錄當前的績效水平。例如,記錄目前人工處理某項任務的平均時間、成本或錯誤率。這個基線數據提供了一個參照點,在導入 AI 之後,可以再次測量相同的指標,並與基線進行比較,從而客觀地評估 AI 導入帶來的實際改善程度。沒有基線,就很難量化導入的成效。
#21
★★★★
根據「公部門人工智慧應用參考手冊」,公部門在評估導入生成式 AI 時,應優先考量哪個風險面向?
A
模型美觀程度。
B
倫理、法律、社會影響,以及資訊安全與個人資料保護
C
技術是否為全球最新。
D
能否快速取代現有公務員。
答案解析
公部門的服務對象是全體國民,其決策和服務具有公共性和強制性,因此在導入 AI 時,更需重視其可能帶來的倫理、法律和社會衝擊,例如是否造成歧視、是否影響公平性、是否符合法規要求。同時,公部門掌握大量個人資料資訊安全個資保護也是絕對的紅線。「公部門人工智慧應用參考手冊」中,對倫理議題、資料安全、AI 資安議題、AI 治理等都有專章討論,凸顯了這些風險評估的重要性。
#22
★★★
評估生成式 AI 導入的潛在效益時,「降低成本」通常體現在哪些方面?
A
購買更多高階硬體。
B
減少重複性、勞力密集型工作所需的人力或時間
C
增加與客戶的溝通頻率。
D
提高產品的市場價格。
答案解析
生成式 AI 可以自動化許多原本需要人工完成的任務,尤其是那些重複性高、規則性強或耗時的工作,例如:草擬信件、生成報告摘要、回答常見問題、編寫初步程式碼等。透過 AI 的輔助或自動化,可以減少完成這些任務所需的人力投入和時間,從而降低相關的人力成本或營運成本
#23
★★★★
在評估資料品質以決定是否導入生成式 AI 時,發現資料存在嚴重偏見,應該如何處理?
A
忽略偏見,直接使用。
B
評估是否有技術或方法可以緩解偏見,若無法有效緩解,則不應使用該資料重新評估專案可行性
C
只選取帶有偏見的部分資料使用。
D
將偏見問題完全交給 AI 模型自行解決。
答案解析
使用帶有嚴重偏見的資料訓練 AI 模型,極有可能產生不公平或歧視性的結果,這是嚴重的倫理風險。因此,在評估階段發現資料偏見時,絕不能忽略。應首先評估是否有技術手段(如數據增強、演算法調整、公平性約束)能夠有效減輕或消除這種偏見。如果認為無法有效緩解,或者緩解成本過高,那麼就應該避免使用這些帶有偏見的資料,甚至需要重新評估原定的 AI 應用是否還可行,或者是否需要調整目標或方法
#24
★★★
評估導入生成式 AI 時,若組織缺乏具備相關技能的內部人才,可能的解決方案不包括
A
進行內部員工培訓與技能提升。
B
招聘具備 AI 專業知識的新人才。
C
尋求外部顧問或合作夥伴的協助。
D
完全放棄導入 AI,不考慮任何人才發展計畫。
答案解析
當組織評估發現內部缺乏 AI 相關人才時,有多種策略可以應對人才缺口:可以透過內部培訓提升現有員工的技能(A),可以從外部招聘專業人才(B),也可以藉助外部顧問或合作廠商的力量來獲取所需的專業知識和技術支持(C)。完全放棄導入 AI(D)是一種可能的決策,但它並非解決人才短缺的「方案」,而是基於評估結果(可能包含人才因素)而做出的不導入決定。評估階段應探討的是如何彌補人才缺口以支持可能的導入。
#25
★★★
在評估生成式 AI 導入是否成功時,僅僅關注模型本身的技術指標(如 BLEU 分數、困惑度 Perplexity)有何不足之處?
A
這些指標計算過於複雜。
B
可能無法完全反映 AI 在實際業務應用中的價值和使用者體驗
C
這些指標完全沒有參考價值。
D
只有大型科技公司才能理解這些指標。
答案解析
雖然像 BLEU(用於機器翻譯)或困惑度(衡量語言模型預測能力)這樣的技術指標對評估模型本身性能很重要,但它們未必能直接轉換為實際的業務價值或良好的使用者體驗。一個技術指標分數很高的模型,在實際應用中可能因為偏見幻覺與業務流程整合不佳使用者體驗差等原因而失敗。因此,成功的評估需要結合技術指標與業務指標、使用者回饋等多方面因素。
#26
★★★★
在評估階段,選擇「自行開發生成式 AI 模型而非「使用現有服務/API」的主要驅動因素通常是?
A
追求最快的上線時間。
B
希望初始投入成本最低。
C
需要高度客製化模型以滿足特定業務需求,或對資料/模型有完全的控制權要求。
D
組織內部完全沒有 AI 技術人才。
答案解析
使用現有的生成式 AI 服務或 API 通常上線較快、初期成本較低。選擇自行開發模型通常是因為: 1. 高度客製化需求:現有服務無法滿足非常特定或獨特的業務需求,需要從頭訓練或深度調整模型。 2. 資料控制與安全:出於隱私安全合規考量,不希望將敏感資料傳輸給第三方,需要將資料和模型保留在內部。 3. 智慧財產權:希望對模型本身擁有完全的智慧財產權。 自行開發需要更高的人才、時間和資金投入。
#27
★★★
評估生成式 AI 應用時,針對其可能產生的大量內容,需要考量哪方面的風險
A
硬碟儲存空間不足。
B
內容的審核、管理、以及潛在的錯誤資訊傳播風險。
C
網路頻寬不夠。
D
使用者介面過於複雜。
答案解析
生成式 AI 能夠快速產生大量內容,但也帶來了新的管理挑戰。主要風險在於: 1. 內容審核:如何有效審核大量 AI 生成的內容,確保其準確性、合規性和適當性? 2. 內容管理:如何儲存、分類、追蹤和管理這些大量生成的內容? 3. 錯誤資訊傳播:如果 AI 生成了錯誤或有害內容,且未經審核就大規模發布,可能迅速造成不良影響。 因此,在評估導入時,需要考慮配套的內容審核與管理機制
#28
★★★★
在進行生成式 AI 導入的成本效益分析時,對於效益的評估應該基於什麼?
A
技術團隊的樂觀預期。
B
具體的、可衡量的指標,並與導入前的基線數據進行比較。
C
媒體對 AI 技術的普遍報導。
D
競爭對手的投入金額。
答案解析
為了客觀評估生成式 AI 導入的效益,必須基於數據和事實。這意味著需要: 1. 設定具體的、可衡量的效益指標KPI),例如處理時間、錯誤率、使用者滿意度分數等。 2. 在導入前測量這些指標的基線值Baseline)。 3. 在導入後持續追蹤這些指標的變化。 4. 將導入後的數據與基線數據進行比較,以量化實際的改善程度。 僅憑主觀預期、媒體報導或競爭對手行為來評估效益是不夠可靠的。
#29
★★★
評估導入生成式 AI 時,若發現目標問題可以透過更簡單、成本更低的傳統資訊技術(如流程自動化 RPA, Robotic Process Automation)有效解決,應該如何決策?
A
堅持導入生成式 AI,因為技術比較新。
B
優先考慮採用更簡單、更符合成本效益的傳統技術。
C
同時導入兩種技術。
D
放棄解決該問題。
答案解析
導入技術的目的是為了解決問題並創造價值。在評估階段,應該客觀比較不同解決方案可行性、成本、效益和風險生成式 AI 並非所有問題的最佳解方。如果一個問題可以透過更成熟、更簡單、成本效益更高的傳統技術(如 RPA、規則引擎、標準數據分析)來有效解決,那麼從務實的角度出發,通常應該優先選擇這些傳統技術,而不是盲目追求最新潮的 AI 技術。
#30
★★★
生成式 AI 導入評估中,設定可衡量的成功標準有助於後續的哪個活動?
A
選擇雲端服務供應商。
B
專案效益追蹤與成果驗收
C
撰寫使用者操作手冊。
D
進行硬體設備採購。
答案解析
在評估和規劃階段設定清晰、可衡量的成功標準(例如,KPIOKR Objectives and Key Results),為專案的最終目標提供了一個明確的定義。這使得在專案執行和完成後,能夠客觀地追蹤專案是否達到了預期效益,並作為成果驗收的依據。如果沒有事先定義好衡量標準,後續就很難判斷專案到底算不算成功。